Hierarchical Acoustic-Semantic Modeling: Modality Separation and Semantic Coherence for Full-Duplex SLMs
分层声学-语义建模：全双工口语语言模型的模态分离与语义一致性
🧭 多模态学习 · 梯度冲突解耦
Harbin Institute of Technology, Shenzhen · Center for Language, Intelligence and Machines, Shenzhen · The Chinese University of Hong Kong, Shenzhen
揭示全双工语音模型中声学与语义的梯度冲突，并提出分层参数分离策略以消除模态干扰
📌 工作参考价值（4 点）
- 多模态搜索/推荐中的梯度冲突诊断：当商品文本、图像、用户行为等多模态信息共享底层参数时，可借鉴论文的梯度冲突分析方法，定量评估不同模态梯度方向的余弦相似度，定位干扰源，避免盲目调整结构。
- 分层参数分离策略用于多模态融合：在深层网络中将不同模态的参数解耦，仅浅层共享，同时引入轻量语义对齐通道（如对比损失或跨注意力），既能保持模态特异性，又能防止语义割裂，适用于多模态排序或召回模型。
- 语音购物助手的全双工流畅性提升：构建对话式推荐Agent时，采用类似分层声学-语义解耦的架构，可减少语音识别与语义理解之间的干扰，提升交互的自然度和响应速度，类似方法也适用于实时多轮对话场景。
- 高效推理兼顾模态专化：通过仅在深层分离参数而非独立训练整个双塔，能维持推理效率，适合对延迟敏感的业务场景，如在线推荐、语音搜索等。